Analyzing Business Relations & Documents

class: title-slide

# ER018 - Analyzing Business Relations & Documents

## PVA1

### Quantitative Textanalyse mit tidytext

<br>
<br>
<br>
<br>
<br>
<br>
<br>
### FS 2024
<br>
### Prof. Dr. Jörg Schoder
.mycontacts[
<svg aria-hidden="true" role="img" viewBox="0 0 496 512" style="height:1em;width:0.97em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M165.9 397.4c0 2-2.3 3.6-5.2 3.6-3.3.3-5.6-1.3-5.6-3.6 0-2 2.3-3.6 5.2-3.6 3-.3 5.6 1.3 5.6 3.6zm-31.1-4.5c-.7 2 1.3 4.3 4.3 4.9 2.6 1 5.6 0 6.2-2s-1.3-4.3-4.3-5.2c-2.6-.7-5.5.3-6.2 2.3zm44.2-1.7c-2.9.7-4.9 2.6-4.6 4.9.3 2 2.9 3.3 5.9 2.6 2.9-.7 4.9-2.6 4.6-4.6-.3-1.9-3-3.2-5.9-2.9zM244.8 8C106.1 8 0 113.3 0 252c0 110.9 69.8 205.8 169.5 239.2 12.8 2.3 17.3-5.6 17.3-12.1 0-6.2-.3-40.4-.3-61.4 0 0-70 15-84.7-29.8 0 0-11.4-29.1-27.8-36.6 0 0-22.9-15.7 1.6-15.4 0 0 24.9 2 38.6 25.8 21.9 38.6 58.6 27.5 72.9 20.9 2.3-16 8.8-27.1 16-33.7-55.9-6.2-112.3-14.3-112.3-110.5 0-27.5 7.6-41.3 23.6-58.9-2.6-6.5-11.1-33.3 2.6-67.9 20.9-6.5 69 27 69 27 20-5.6 41.5-8.5 62.8-8.5s42.8 2.9 62.8 8.5c0 0 48.1-33.6 69-27 13.7 34.7 5.2 61.4 2.6 67.9 16 17.7 25.8 31.5 25.8 58.9 0 96.5-58.9 104.2-114.8 110.5 9.2 7.9 17 22.9 17 46.4 0 33.7-.3 75.4-.3 83.6 0 6.5 4.6 14.4 17.3 12.1C428.2 457.8 496 362.9 496 252 496 113.3 383.5 8 244.8 8zM97.2 352.9c-1.3 1-1 3.3.7 5.2 1.6 1.6 3.9 2.3 5.2 1 1.3-1 1-3.3-.7-5.2-1.6-1.6-3.9-2.3-5.2-1zm-10.8-8.1c-.7 1.3.3 2.9 2.3 3.9 1.6 1 3.6.7 4.3-.7.7-1.3-.3-2.9-2.3-3.9-2-.6-3.6-.3-4.3.7zm32.4 35.6c-1.6 1.3-1 4.3 1.3 6.2 2.3 2.3 5.2 2.6 6.5 1 1.3-1.3.7-4.3-1.3-6.2-2.2-2.3-5.2-2.6-6.5-1zm-11.4-14.7c-1.6 1-1.6 3.6 0 5.9 1.6 2.3 4.3 3.3 5.6 2.3 1.6-1.3 1.6-3.9 0-6.2-1.4-2.3-4-3.3-5.6-2z"/></svg> @FFHS-EconomicResearch
<svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M416 32H31.9C14.3 32 0 46.5 0 64.3v383.4C0 465.5 14.3 480 31.9 480H416c17.6 0 32-14.5 32-32.3V64.3c0-17.8-14.4-32.3-32-32.3zM135.4 416H69V202.2h66.5V416zm-33.2-243c-21.3 0-38.5-17.3-38.5-38.5S80.9 96 102.2 96c21.2 0 38.5 17.3 38.5 38.5 0 21.3-17.2 38.5-38.5 38.5zm282.1 243h-66.4V312c0-24.8-.5-56.7-34.5-56.7-34.6 0-39.9 27-39.9 54.9V416h-66.4V202.2h63.7v29.2h.9c8.9-16.8 30.6-34.5 62.9-34.5 67.2 0 79.7 44.3 79.7 101.9V416z"/></svg> @jfschoder
]

---
layout: true

<div style="position: absolute;left:400px;bottom:10px;font-size:9px"><svg aria-hidden="true" role="img" viewBox="0 0 496 512" style="height:1em;width:0.97em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M245.83 214.87l-33.22 17.28c-9.43-19.58-25.24-19.93-27.46-19.93-22.13 0-33.22 14.61-33.22 43.84 0 23.57 9.21 43.84 33.22 43.84 14.47 0 24.65-7.09 30.57-21.26l30.55 15.5c-6.17 11.51-25.69 38.98-65.1 38.98-22.6 0-73.96-10.32-73.96-77.05 0-58.69 43-77.06 72.63-77.06 30.72-.01 52.7 11.95 65.99 35.86zm143.05 0l-32.78 17.28c-9.5-19.77-25.72-19.93-27.9-19.93-22.14 0-33.22 14.61-33.22 43.84 0 23.55 9.23 43.84 33.22 43.84 14.45 0 24.65-7.09 30.54-21.26l31 15.5c-2.1 3.75-21.39 38.98-65.09 38.98-22.69 0-73.96-9.87-73.96-77.05 0-58.67 42.97-77.06 72.63-77.06 30.71-.01 52.58 11.95 65.56 35.86zM247.56 8.05C104.74 8.05 0 123.11 0 256.05c0 138.49 113.6 248 247.56 248 129.93 0 248.44-100.87 248.44-248 0-137.87-106.62-248-248.44-248zm.87 450.81c-112.54 0-203.7-93.04-203.7-202.81 0-105.42 85.43-203.27 203.72-203.27 112.53 0 202.82 89.46 202.82 203.26-.01 121.69-99.68 202.82-202.84 202.82z"/></svg>Prof. Dr. Jörg Schoder</div>

---
name: agenda
class: left

.blockquote[Agenda]

## Quantitative Textanalyse mit tidytext

* Datenstrukturen zur Speicherung von Textdaten

* tidytext und Tokenisierung

* Wort- und Textmetriken

* Sentimentanalysen

* Beziehungen zwischen Wörtern

* NLP und Topic Modeling

---
class: left

.blockquote[Datenstrukturen Textdaten]

## Formen zur Speicherung von Textdaten

* **strings**: Speichern von Text als Zeichenvektor; typischerweise werden Textdaten in dieser Form in R eingelesen.

* **Corpus**: Objektyp enthält meist rohe strings, die mit **zusätzlichen Metadaten** und Details ergänzt sind.

* **Dokument-Begriffs-Matrix**: 
    * Sammlung (Korpus) von Dokumenten mit
      * einer Zeile für jedes Dokument
      * einer Spalte für jeden Begriff
    * Wert in der Matrix ist in der Regel die Wortanzahl oder tf-idf

* **tidy text**: angelehnt an tidy-Datenformat: ein Token pro Zeile

???

* **tf-idf** soll messen, **wie wichtig ein Wort** für ein Dokument in einer Sammlung (oder einem Korpus) von Dokumenten ist, zum Beispiel für einen Roman in einer Sammlung von Romanen oder für eine Website in einer Sammlung von Websites.
  * tf: term frequency
  * idf: inverse term frequency

---
class: left

.blockquote[Datenstrukturen Textdaten]

## Beispiel Airbnb Zürich

.panelset[
.panel[.panel-name[Daten importieren]

```r
# Loading data from data folder -----
my_in_file <- "airbnbZH_20240408.rds"
tbl_airbnbZH <- readr::read_rds(xfun::from_root('data','raw',my_in_file))
head(tbl_airbnbZH)
```

```
## # A tibble: 6 × 12
##   listing_id        id date       reviewer_id reviewer_name comments     host_id
##      <int64>   <int64> <IDate>          <int> <chr>         <chr>          <int>
## 1  3.62e-319 6.45e-318 2012-05-19     1787723 Jeff          "Simona was…  377532
## 2  3.62e-319 7.16e-318 2012-06-10     2183393 Rick          "The apartm…  377532
## 3  3.62e-319 7.78e-318 2012-06-27     2343568 Joseph        "I stayed i…  377532
## 4  3.62e-319 8.62e-318 2012-07-19     2343192 Yvonne        "The apartm…  377532
## 5  3.62e-319 1.00e-317 2012-08-19     2092762 Joy           "Simona's p…  377532
## 6  3.62e-319 1.08e-317 2012-09-03     3386921 Petru         "Dear Simon…  377532
## # ℹ 5 more variables: property_type <chr>, room_type <chr>, priceUSD <dbl>,
## #   accommodates <int>, rating <dbl>
```
]
.panel[.panel-name[Strukturierte Daten]

```r
tbl_airbnbZH %>% 
  dplyr::filter(priceUSD<=100) %>% 
  dplyr::summarise(mean_rating=mean(rating, na.rm = TRUE))
```

```
## # A tibble: 1 × 1
##   mean_rating
##         <dbl>
## 1        4.73
```
]
.panel[.panel-name[Unstrukturierte Daten]

```r
tbl_airbnbZH %>% 
  dplyr::filter(priceUSD<=100) %>% 
  dplyr::summarise(mean_rating=mean(comments))
```

```
## Warning: There was 1 warning in `dplyr::summarise()`.
## ℹ In argument: `mean_rating = mean(comments)`.
## Caused by warning in `mean.default()`:
## ! Argument ist weder numerisch noch boolesch: gebe NA zurück
```

```
## # A tibble: 1 × 1
##   mean_rating
##         <dbl>
## 1          NA
```
]
]

---
class: left

.blockquote[Datenstrukturen Textdaten]

## Spalten und Vektortypen am Beispiel Airbnb ZH

.panelset[
.panel[.panel-name[Überblick]

```r
tbl_airbnbZH %>% 
  dplyr::glimpse()
```

```
## Rows: 79,596
## Columns: 12
## $ listing_id    <int64> 3.620612e-319, 3.620612e-319, 3.620612e-319, 3.620612e…
## $ id            <int64> 6.446667e-318, 7.158324e-318, 7.779232e-318, 8.624267e…
## $ date          <IDate> 2012-05-19, 2012-06-10, 2012-06-27, 2012-07-19, 2012-0…
## $ reviewer_id   <int> 1787723, 2183393, 2343568, 2343192, 2092762, 3386921, 39…
## $ reviewer_name <chr> "Jeff", "Rick", "Joseph", "Yvonne", "Joy", "Petru", "Mar…
## $ comments      <chr> "Simona was an excellent hostess. The apartment is beaut…
## $ host_id       <int> 377532, 377532, 377532, 377532, 377532, 377532, 377532, …
## $ property_type <chr> "Entire rental unit", "Entire rental unit", "Entire rent…
## $ room_type     <chr> "Entire home/apt", "Entire home/apt", "Entire home/apt",…
## $ priceUSD      <dbl> 100, 100, 100, 100, 100, 100, 100, 100, 100, 100, 100, 1…
## $ accommodates  <int> 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4,…
## $ rating        <dbl> 4.78, 4.78, 4.78, 4.78, 4.78, 4.78, 4.78, 4.78, 4.78, 4.…
```
]
.panel[.panel-name[numeric]

```r
tbl_airbnbZH %>% 
  dplyr::select(listing_id,priceUSD) %>% 
  head()
```

```
## # A tibble: 6 × 2
##   listing_id priceUSD
##      <int64>    <dbl>
## 1  3.62e-319      100
## 2  3.62e-319      100
## 3  3.62e-319      100
## 4  3.62e-319      100
## 5  3.62e-319      100
## 6  3.62e-319      100
```
]
.panel[.panel-name[character]

```r
tbl_airbnbZH %>% 
  dplyr::select(comments) %>% 
  head()
```

```
## # A tibble: 6 × 1
##   comments                                                                      
##   <chr>                                                                         
## 1 "Simona was an excellent hostess. The apartment is beautiful (and exactly lik…
## 2 "The apartment was fantastic - clean, beautiful and good location. Simona was…
## 3 "I stayed in the apartment for two weeks with my wife and daughter. The apart…
## 4 "The apartment was everything and more. spacious, clean, new! It had an eleva…
## 5 "Simona's place is great!  It's very quiet and although not right downtown, i…
## 6 "Dear Simona, you are a splendid guest and the apartment was better that you …
```

]
]

???

* numeric
  * integer (bspw. listing_id)
  * double (bspw. priceUSD)
* character (bspw. comment)

---
class: left

.blockquote[Datenstrukturen Textdaten]

## Zusammenfassende Statistiken am Beispiel Airbnb ZH

.panelset[
.panel[.panel-name[Variante 1]

Kombination von `summarize()`- und `n()`-Funktion

```r
tbl_airbnbZH %>% 
  dplyr::group_by(property_type) %>% 
  dplyr::summarize(n_zeilen=dplyr::n()) %>% 
  dplyr::slice(1:4)
```

```
## # A tibble: 4 × 2
##   property_type   n_zeilen
##   <chr>              <int>
## 1 Barn                  59
## 2 Camper/RV              1
## 3 Casa particular       38
## 4 Entire condo        2354
```
]
.panel[.panel-name[Variante 2]

`count()`-Funktion

```r
tbl_airbnbZH %>% 
  dplyr::count(property_type) %>% 
  head() 
```

```
## # A tibble: 6 × 2
##   property_type          n
##   <chr>              <int>
## 1 Barn                  59
## 2 Camper/RV              1
## 3 Casa particular       38
## 4 Entire condo        2354
## 5 Entire guest suite   583
## 6 Entire guesthouse    178
```
]
.panel[.panel-name[Sortierung]

`arrange()`-Funktion

```r
tbl_airbnbZH %>% 
  dplyr::count(property_type) %>% 
  dplyr::arrange(desc(n)) %>% 
  dplyr::slice(1:4)
```

```
## # A tibble: 4 × 2
##   property_type                   n
##   <chr>                       <int>
## 1 Entire rental unit          46681
## 2 Private room in rental unit 14512
## 3 Private room in home         3658
## 4 Entire condo                 2354
```
]
]

---
class: inverse, center, middle

## Tokenisierung und Textmetriken

.blockquote[tidytext-Format und Tokenisierung]

.blockquote[Worthäufigkeiten]

.blockquote[Datenvisualisierung]

---
class: left

.blockquote[tidytext-Format und Tokenisierung]

## tidy-Format und tidyverse

.panelset[
.panel[.panel-name[tidyformat]

* tidy-Daten

* Vorteil einheitlicher Struktur von Daten: überschaubare Zahl an (zu erlernenden) Werkzeugen und Verfahren.

.quellePanURL[Bildquelle: [Wickham et al. (2023)](wickham_r_2023).]

]
.panel[.panel-name[tidyverse]
* <svg aria-hidden="true" role="img" viewBox="0 0 581 512" style="height:1em;width:1.13em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M581 226.6C581 119.1 450.9 32 290.5 32S0 119.1 0 226.6C0 322.4 103.3 402 239.4 418.1V480h99.1v-61.5c24.3-2.7 47.6-7.4 69.4-13.9L448 480h112l-67.4-113.7c54.5-35.4 88.4-84.9 88.4-139.7zm-466.8 14.5c0-73.5 98.9-133 220.8-133s211.9 40.7 211.9 133c0 50.1-26.5 85-70.3 106.4-2.4-1.6-4.7-2.9-6.4-3.7-10.2-5.2-27.8-10.5-27.8-10.5s86.6-6.4 86.6-92.7-90.6-87.9-90.6-87.9h-199V361c-74.1-21.5-125.2-67.1-125.2-119.9zm225.1 38.3v-55.6c57.8 0 87.8-6.8 87.8 27.3 0 36.5-38.2 28.3-87.8 28.3zm-.9 72.5H365c10.8 0 18.9 11.7 24 19.2-16.1 1.9-33 2.8-50.6 2.9v-22.1z"/></svg> als Sprache, tidy als Dialekt
* tidyverse als "Metapaket"

```r
library(tidyverse)
```

```
## ── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
## ✔ dplyr     1.1.2     ✔ readr     2.1.4
## ✔ forcats   1.0.0     ✔ stringr   1.5.1
## ✔ ggplot2   3.4.2     ✔ tibble    3.2.1
## ✔ lubridate 1.9.3     ✔ tidyr     1.3.0
## ✔ purrr     1.0.2     
## ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
## ✖ tidyr::extract()   masks magrittr::extract()
## ✖ dplyr::filter()    masks stats::filter()
## ✖ dplyr::lag()       masks stats::lag()
## ✖ purrr::set_names() masks magrittr::set_names()
## ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors
```
]
.panel[.panel-name[Kernelemente]

* tidy-Daten
  * jede Variable eine Spalte darstellt,
  * jeder Fall eine Zeile und
  * jeder Wert einer Beobachtung entspricht.
* Verben (dplyr-Bibliothek)
  * Spaltenbezogene Operationen (bspw. `select()`, `mutate()`)
  * Zeilenbezogene Operationen (bspw. `filter()`, `arrange()`,`slice()`)
  * Operationen für Gruppen von Zeilen (bspw. `group_by()`, `summarize()`)
* Pipe (`%>%`)

???

* tidy-Daten:
  * jede Variable eine Spalte darstellt,
  * jeder Fall eine Zeile und
  * jeder Wert einer Beobachtung entspricht.

* tidyverse-Bibliotheken...
  * ...decken grundsätzlich alle notwendigen Schritte eines Datenprojekts ab
  * ...und sind Verwendung mit tidy Daten konzipiert/optimiert.

vgl. ausführlicher [Intro Datenprojekte in R](https://ffhs-economicresearch.github.io/ER018/Rmd/PVA1/04_DatenprojekteR.html#1)

---
class: left

.blockquote[tidytext-Format und Tokenisierung]

## Das tidytext-Paket

<a name=cite-silge_text_2017></a>[Silge and Robinson (2017)](#bib-silge_text_2017)

---
class: left

.blockquote[tidytext-Format und Tokenisierung]

## Tokenisierung

.panelset[
.panel[.panel-name[tidytext-Format]
.blockquote[
"We [..] define the tidy text format as being a table with **one-token-per-row**."
.tr[
[Silge and Robinson (2017)](#bib-silge_text_2017)
]
]
.blockquote[
"A **token** is a **meaningful unit of text**, most often a word, that we are interested in using for further analysis, and tokenization is the process of splitting text into tokens."
.tr[
[Silge and Robinson (2017)](#bib-silge_text_2017)
]
]
]
.panel[.panel-name[tidytext-Funktion]
* `unnest_tokens()`-Funktion als komfortable Möglichkeit zur Tokenisierung in der tidytext-Bibliothek
* Argumente: 
  * input
  * output
  * **token**
  * format ("text", "man", "latex", "html", "xml")
  * to_lower
  * ...
* Option **token**:
  * "characters"
  * "regex"
  * "words"
  * "sentences"
  * "lines"
  * "paragraphs"
  * ...
]
]

???

* A **token** is a meaningful unit of text, most often a word, that we are interested in using for further analysis, and tokenization is the process of splitting text into tokens

---
class: left

.blockquote[tidytext-Format und Tokenisierung]

## Beispiel Tokenisierung

.panelset[
.panel[.panel-name[Sätze]

```r
library(tidytext)
tidy_satz <- tbl_airbnbZH %>%
                unnest_tokens(input = "comments",output = "satz",
                              token="sentences")
tidy_satz %>%  
  select(listing_id,id,reviewer_name,satz) %>% 
  slice(1:4)
```

```
## # A tibble: 4 × 4
##   listing_id        id reviewer_name satz                                       
##      <int64>   <int64> <chr>         <chr>                                      
## 1  3.62e-319 6.45e-318 Jeff          simona was an excellent hostess.           
## 2  3.62e-319 6.45e-318 Jeff          the apartment is beautiful (and exactly li…
## 3  3.62e-319 6.45e-318 Jeff          simona made sure the apartment was well st…
## 4  3.62e-319 6.45e-318 Jeff          at one point the internet went out, and si…
```
]
.panel[.panel-name[Wörter]

```r
tidy_wort <- tbl_airbnbZH %>%
                  mutate(id = row_number()) %>%
                  unnest_tokens(input = "comments",output = "wort",
                                token = "words")
tidy_wort %>% 
  select(listing_id,id,reviewer_name,wort) %>% 
  slice(1:5)
```

```
## # A tibble: 5 × 4
##   listing_id    id reviewer_name wort     
##      <int64> <int> <chr>         <chr>    
## 1  3.62e-319     1 Jeff          simona   
## 2  3.62e-319     1 Jeff          was      
## 3  3.62e-319     1 Jeff          an       
## 4  3.62e-319     1 Jeff          excellent
## 5  3.62e-319     1 Jeff          hostess
```
]
.panel[.panel-name[Bereinigung]

* Eliminierung von Füllwörtern unter Rückgriff auf Datenbanken der **stopwords**-Bibliothek

* Unterstützte Sprachen: "en", "es", "de", "fr"

* Datenkombination mit `anti_join()`-Funktion (vgl. [cheat sheet](https://github.com/rstudio/cheatsheets/blob/main/data-transformation.pdf))

```r
tidy_wort <- tidy_wort %>%
                    anti_join(get_stopwords(language = "en",
                                            source = "snowball"
                                            ),
                              join_by(wort == word)
                              )
```
]
.panel[.panel-name[tidy Wörter]

```r
tidy_wort %>% 
  select(listing_id,id,reviewer_name,wort) %>% 
  slice(1:7)
```

```
## # A tibble: 7 × 4
##   listing_id    id reviewer_name wort     
##      <int64> <int> <chr>         <chr>    
## 1  3.62e-319     1 Jeff          simona   
## 2  3.62e-319     1 Jeff          excellent
## 3  3.62e-319     1 Jeff          hostess  
## 4  3.62e-319     1 Jeff          apartment
## 5  3.62e-319     1 Jeff          beautiful
## 6  3.62e-319     1 Jeff          exactly  
## 7  3.62e-319     1 Jeff          like
```
]
]

???

* Datenbank `stop_words` in tidytext-Bibliothek enthalten
* Kombination der beiden Datensätze `tidy_wort` und `stop_words` mit der `anti_join()`-Funktion elminiert alle Füllwörter.
* Obs! `tbl_airbnbZH` enthalt auch andere Sprachen als Englisch!
* stopwords-Bibliothek unterstützt zwar mehrere Sprachen, aber die Bereinigung muss einzeln für jede Sprache durchgeführt werden.

---
class: left

.blockquote[tidytext-Format und Tokenisierung]

## Erste (primitive) quantitative Auswertung

.panelset[
.panel[.panel-name[Balkendiagramm]
![](data:image/png;base64,#03_Intro_TextminingNLP_files/figure-html/unnamed-chunk-17-1.png)

```
## $y
## NULL
## 
## attr(,"class")
## [1] "labels"
```
]
.panel[.panel-name[Code zum Plot]

```r
p <- tidy_wort %>% 
         count(wort, sort = TRUE) %>%
         slice(1:20) %>%
         mutate(wort = reorder(wort, n)) %>%
         ggplot(aes(x=wort, y=n)) +
              geom_col() +
              coord_flip()
              labs(y = NULL)
```

```
## $y
## NULL
## 
## attr(,"class")
## [1] "labels"
```
]
]

---
class: inverse, center, middle

## Wort- und Textmetriken

.blockquote[Häufigkeiten]

.blockquote[Zusammenhänge]

---
class: left

.blockquote[Häufigkeiten]

## Customizing "stop words"

.panelset[
.panel[.panel-name[Ergänzung Liste]

```r
custom_stop_words <- tribble(
                    ~word, ~lexicon,
                    "zurich", "CUSTOM",
                    "br", "CUSTOM",
                    "und", "CUSTOM",
                    "sehr", "CUSTOM",
                    )
stop_words2 <- get_stopwords(language = "en",
                             source = "snowball") %>%
                  bind_rows(custom_stop_words)
```
]
.panel[.panel-name[Bereinigung Teil2]

```r
tidy_wort2 <- tidy_wort %>%
                anti_join(stop_words2, join_by(wort==word))
tidy_wort2 %>%
  count(wort, sort = TRUE) %>%
   slice(1:20) %>%
    mutate(wort = reorder(wort, n)) %>%
    ggplot(aes(x=wort, y=n)) +
        geom_col() +
        coord_flip()
```

![](data:image/png;base64,#03_Intro_TextminingNLP_files/figure-html/unnamed-chunk-20-1.png)

```r
        labs(y = NULL)
```

```
## $y
## NULL
## 
## attr(,"class")
## [1] "labels"
```
]
]

???

* die: deutsches Füllwort oder englisch: sterben?

---
class: left

.blockquote[Häufigkeiten]

## Wortlänge

---
class: left

.blockquote[Häufigkeitsanalysen]

## Satzlänge

---
class: left

.blockquote[Datenvisualisierung]

## Balkendiagramme

```r
#Farben definieren
ffhs_red <- "#d50006"
ffhs_pur <- "#502479"
my_cols <- c(ffhs_red,ffhs_pur)
```

---
class: left

.blockquote[Datenvisualisierung]

## Wordcloud

---
class: inverse, center, middle

## Sentimentanalysen

.blockquote[Sentiment-Lexika]

.blockquote[Beispiel]

.blockquote[Datenvisualisierung]

---
class: left

.blockquote[Sentimentanalysen mit tidytext]

## Workflow

.quelle[Quelle: [Silge and Robinson (2017)](#bib-silge_text_2017)]

---
class: left

.blockquote[Sentiment-Lexika]

## Beispiele einfach verfügbarer Sentiment-Lexika

.panelset[
.panel[.panel-name[bing]

```r
get_sentiments("bing")
```

```
## # A tibble: 6,786 × 2
##    word        sentiment
##    <chr>       <chr>    
##  1 2-faces     negative 
##  2 abnormal    negative 
##  3 abolish     negative 
##  4 abominable  negative 
##  5 abominably  negative 
##  6 abominate   negative 
##  7 abomination negative 
##  8 abort       negative 
##  9 aborted     negative 
## 10 aborts      negative 
## # ℹ 6,776 more rows
```
]
.panel[.panel-name[afinn]

```r
get_sentiments("afinn")
```

```
## # A tibble: 2,477 × 2
##    word       value
##    <chr>      <dbl>
##  1 abandon       -2
##  2 abandoned     -2
##  3 abandons      -2
##  4 abducted      -2
##  5 abduction     -2
##  6 abductions    -2
##  7 abhor         -3
##  8 abhorred      -3
##  9 abhorrent     -3
## 10 abhors        -3
## # ℹ 2,467 more rows
```
]
.panel[.panel-name[loughran]

```r
get_sentiments("loughran")
```

```
## # A tibble: 4,150 × 2
##    word         sentiment
##    <chr>        <chr>    
##  1 abandon      negative 
##  2 abandoned    negative 
##  3 abandoning   negative 
##  4 abandonment  negative 
##  5 abandonments negative 
##  6 abandons     negative 
##  7 abdicated    negative 
##  8 abdicates    negative 
##  9 abdicating   negative 
## 10 abdication   negative 
## # ℹ 4,140 more rows
```
]
.panel[.panel-name[nrc]

```r
get_sentiments("nrc")
```

```
## # A tibble: 13,872 × 2
##    word        sentiment
##    <chr>       <chr>    
##  1 abacus      trust    
##  2 abandon     fear     
##  3 abandon     negative 
##  4 abandon     sadness  
##  5 abandoned   anger    
##  6 abandoned   fear     
##  7 abandoned   negative 
##  8 abandoned   sadness  
##  9 abandonment anger    
## 10 abandonment fear     
## # ℹ 13,862 more rows
```
]
]

---
class: left

.blockquote[Sentiment Lexika]

## Beispiel Loughran Dictionary

.panelset[
.panel[.panel-name[Dataviz]

```r
#|echo: false
get_sentiments("loughran") %>%
     count(sentiment) %>%
     mutate(sentiment2 = fct_reorder(sentiment, n)) %>% 
     ggplot(aes(x = sentiment2, y = n)) +
        geom_col() +
        coord_flip() +
        labs(
             title = "Sentiment Häufigkeiten (Loughran)",
             x = "Häufigkeit",
             y = "Sentiment"
             )
```

![](data:image/png;base64,#03_Intro_TextminingNLP_files/figure-html/unnamed-chunk-27-1.png)
]
`.panel[.panel.name[Code]

```r
sent_counts <- get_sentiments("loughran") %>%
                    count(sentiment) %>%
                    mutate(sentiment2 = fct_reorder(sentiment, n)) %>% 
                    ggplot(aes(x = sentiment2, y = n)) +
                      geom_col() +
                      coord_flip() +
                      labs(
                           title = "Sentiment Häufigkeiten (Loughran)",
                           x = "Häufigkeit",
                           y = "Sentiment"
                           )
```
]
]

---
class: left

.blockquote[Beispiel Airbnb ZH]

## Zuordnung: Sentiment der Kommentar-Wörter

* Datenkombination mit der `inner_join()`-Funktion (vgl. [cheat sheet](https://github.com/rstudio/cheatsheets/blob/main/data-transformation.pdf)).

```r
tbl_sentZH <- tidy_wort %>%
                inner_join(get_sentiments("bing"), 
                           join_by(wort == word), 
                           relationship = "many-to-many") %>%
                 mutate(line = row_number()) %>%
  count(property_type, index = line %/% 80, sentiment) %>% 
  pivot_wider(names_from = sentiment, values_from = n, values_fill = 0) %>% 
  mutate(sentiment = positive - negative)
```

---
class: left

.blockquote[Datenvisualisierung]

## Beispiel: Airbnb Zürich

Sentimentanalyse nach Art der Unterkunft

```r
#Häufigkeiten unterschiedlicher Arten von Unterkünften
tbl_props <- tbl_sentZH %>% 
                count(property_type) %>% 
                arrange(desc(n)) 
tbl_props
```

```
## # A tibble: 35 × 2
##    property_type                   n
##    <chr>                       <int>
##  1 Entire rental unit           2598
##  2 Private room in rental unit   914
##  3 Entire condo                  203
##  4 Private room in home          180
##  5 Entire loft                   168
##  6 Entire serviced apartment     165
##  7 Room in hotel                  88
##  8 Private room in condo          56
##  9 Private room in villa          42
## 10 Private room in townhouse      39
## # ℹ 25 more rows
```

```r
# Auswahl Top4 für die Grafik
prop_list <- tbl_props %>%
                  slice(1:4) %>% 
                  pull(property_type)
                  
tbl_plot <- tbl_sentZH %>% 
                filter(property_type%in%prop_list)
# Erzeugung ggplot (speichern im Objekt p)
p <- tbl_plot %>% 
ggplot(aes(index, sentiment, fill = property_type)) +
  geom_col(show.legend = FALSE) +
  facet_wrap(vars(property_type), ncol = 2, scales = "free_x")
```

---
class: left

.blockquote[Datenvisualisierung]

## Balkendiagramm Sentimentanalyse Airbnb ZH

![](data:image/png;base64,#03_Intro_TextminingNLP_files/figure-html/unnamed-chunk-31-1.png)

---
class: inverse, center, middle

## Topic Modeling

.blockquote[Grundlegende NLP-Begriffe]

.blockquote[LDA]

---
class: left

.blockquote[Grundlegende NLP-Begriffe]

## Unsupervised Learning

* Latente Dirichlet-Zuordnung (LDA): Standard-Themenmodell (Topic Model)
--
* Korpus: Sammlung von Dokumenten
--
* Bag-of-Words: jedes Wort in einem Dokument wird separat/isoliert behandelt
--
* Themenmodelle finden **Muster zusammen vorkommenender Wörter**
--
* Unsupervised Learning: Suche nach Mustern anstelle von Vorhersagen wird als  bezeichnet.

---
class: left

.blockquote[Grundlegende NLP-Begriffe]

## Themen (Topics) als gruppierte Listen

* Themen-/Kategorienbildung nach Wahrscheinlichkeiten, mit denen ein Wort in einem Thema vorkommt

* Fuzzy-Logik vs. binäre Logik
  * Fuzzy: ein Wort gehört mit einer bestimmten Wahrscheinlichkeit zu einem Thema
  * binäre Logik: ein Wort gehört entweder zu einem Thema, oder nicht
  
* Thema als Liste aller Wörter im Korpus. Jedem Wort ist eine Wahrscheinlichkeit zugewiesen

* Wörter, die häufig gemeinsam vorkommen, gehören mit größerer Wahrscheinlichkeit zu einem Thema

---
class: left

.blockquote[Grundlegende NLP-Begriffe]

## Topic Modeling vs. Clusteranalyse

.pull-left[
**Clusteranalyse**

- Exploratives Verfahren für quantitative Daten
- jede Einheit gehört zu einem Cluster oder nicht (binäre Logik)

- verschieden Algorithmen (bspw. k-means)
- Anzahl Cluster nicht vorab festgelegt

]
--
.pull-right[
**Topic Modeling**
- Exploratives Verfahren für (qualitative) Textdaten
- jedes Dokument (bspw. Kundenkommentar, Buch...) kann zu mehreren Themen gehören (partielles Mitglied, fuzzy-Logik)

- verschieden Algorithmen (bspw. Gibbs)
- Anzahl Themen nicht vorab festgelegt

]

---
class: left

.blockquote[LDA]

---
name: EndHanks
class: center

background-size: 75%
background-image: url(data:image/png;base64,#https://media.giphy.com/media/KJ1f5iTl4Oo7u/giphy.gif)

---
class: left

## Quellenverzeichnis

.ref-slide[
<a name=bib-silge_text_2017></a>[Silge, J. and D.
Robinson](#cite-silge_text_2017) (2017). _Text Mining with R: A Tidy
Approach_. First edition. Beijing Boston Farnham Sebastopol Tokyo:
O'Reilly. ISBN: 978-1-4919-8165-8.

<a name=bib-wickham_r_2023></a>[Wickham, H., M. Çetinkaya-Rundel, and
G. Grolemund](#cite-wickham_r_2023) (2023). _R for Data Science:
Import, Tidy, Transform, Visualize, and Model Data_. 2nd Edition.
Beijing Boston Farnham Sebastopol Tokyo: O'Reilly. ISBN:
978-1-4920-9740-2.
]